While federated learning has shown strong results in optimizing a machine learning model without direct access to the original data, its performance may be hindered by intermittent client availability which slows down the convergence and biases the final learned model. There are significant challenges to achieve both stable and bias-free training under arbitrary client availability. To address these challenges, we propose a framework named Federated Graph-based Sampling (FedGS), to stabilize the global model update and mitigate the long-term bias given arbitrary client availability simultaneously. First, we model the data correlations of clients with a Data-Distribution-Dependency Graph (3DG) that helps keep the sampled clients data apart from each other, which is theoretically shown to improve the approximation to the optimal model update. Second, constrained by the far-distance in data distribution of the sampled clients, we further minimize the variance of the numbers of times that the clients are sampled, to mitigate long-term bias. To validate the effectiveness of FedGS, we conduct experiments on three datasets under a comprehensive set of seven client availability modes. Our experimental results confirm FedGS's advantage in both enabling a fair client-sampling scheme and improving the model performance under arbitrary client availability. Our code is available at \url{https://github.com/WwZzz/FedGS}.
translated by 谷歌翻译
图像DeBlurring旨在恢复模糊图像中的详细纹理信息或结构,这已成为许多计算机视觉任务中必不可少的一步。尽管已经提出了各种方法来处理图像去除问题,但大多数方法将模糊图像视为一个整体,并忽略了不同图像频率的特征。在本文中,我们提出了一种新方法,称为图像脱毛的多尺度频率分离网络(MSFS-NET)。 MSFS-NET将频率分离模块(FSM)引入编码器 - 模块网络体系结构中,以在多个尺度上捕获图像的低频和高频信息。然后,分别设计了一个循环一致性策略和对比度学习模块(CLM),以保留低频信息,并在Deblurring期间恢复高频信息。最后,不同量表的特征是通过跨尺度特征融合模块(CSFFM)融合的。基准数据集的广泛实验表明,所提出的网络可实现最先进的性能。
translated by 谷歌翻译
磁共振光谱(MRS)是揭示代谢信息的无创工具。 1H-MRS的一个挑战是低信号噪声比(SNR)。为了改善SNR,一种典型的方法是用M重复样品进行信号平均(SA)。但是,数据采集时间相应地增加了M次,并且在公共环境M = 128时,完整的临床MRS SCAN大约需要10分钟。最近,引入了深度学习以改善SNR,但大多数人将模拟数据用作培训集。这可能会阻碍MRS应用程序,因为某些潜在差异(例如获取系统的缺陷)以及模拟和体内数据之间可能存在生理和心理条件。在这里,我们提出了一种新方案,该方案纯粹使用了现实数据的重复样本。深度学习模型,拒绝长期记忆(RELSTM),旨在学习从低SNR时间域数据(24 SA)到高SNR ONE(128 SA)的映射。对7个健康受试者,2名脑肿瘤患者和1名脑梗塞患者的体内脑光谱进行实验表明,仅使用20%的重复样品,RelstM的DeNoed Spectra可以为128 SA提供可比的代谢物。与最先进的低级别去核法相比,RELSTM在量化某些重要的生物标志物时达到了较低的相对误差和cram \'er-rao下限。总而言之,RELSTM可以在快速获取(24 SA)下对光谱进行高保真降级,这对MRS临床研究很有价值。
translated by 谷歌翻译
Long-term traffic prediction is highly challenging due to the complexity of traffic systems and the constantly changing nature of many impacting factors. In this paper, we focus on the spatio-temporal factors, and propose a graph multi-attention network (GMAN) to predict traffic conditions for time steps ahead at different locations on a road network graph. GMAN adapts an encoder-decoder architecture, where both the encoder and the decoder consist of multiple spatio-temporal attention blocks to model the impact of the spatio-temporal factors on traffic conditions. The encoder encodes the input traffic features and the decoder predicts the output sequence. Between the encoder and the decoder, a transform attention layer is applied to convert the encoded traffic features to generate the sequence representations of future time steps as the input of the decoder. The transform attention mechanism models the direct relationships between historical and future time steps that helps to alleviate the error propagation problem among prediction time steps. Experimental results on two real-world traffic prediction tasks (i.e., traffic volume prediction and traffic speed prediction) demonstrate the superiority of GMAN. In particular, in the 1 hour ahead prediction, GMAN outperforms state-of-the-art methods by up to 4% improvement in MAE measure. The source code is available at https://github.com/zhengchuanpan/GMAN.
translated by 谷歌翻译
白质图微观结构已显示出影响认知表现的神经心理学评分。但是,尚未尝试从白质图数据中预测这些分数。在本文中,我们提出了一个基于深度学习的框架,用于使用从扩散磁共振成像(DMRI)片段估计的微观结构测量结果进行神经心理学评分的预测,该框架的重点是基于接受语言的关键纤维纤维小道的接受性词汇评估任务的性能弓形筋膜(AF)。我们直接利用来自纤维道中所有点的信息,而无需按照传统上沿着光纤的平均数据进行扩散MRI Tractometry方法所要求的。具体而言,我们将AF表示为点云,每个点都有微观结构测量,从而可以采用基于点的神经网络。我们通过拟议的配对 - 塞亚姆损失来改善预测性能,该损失利用了有关连续神经心理学评分之间差异的信息。最后,我们提出了一种关键区域定位(CRL)算法来定位包含对预测结果有很大贡献的点的信息解剖区域。我们的方法对来自人类Connectome项目数据集的806名受试者的数据进行了评估。结果表明,与基线方法相比,神经心理评分的预测表现优异。我们发现,AF中的关键区域在受试者之间非常一致,额叶皮质区域的强大贡献最多(即,尾部中间额叶,pars opercularis和pars triangularis)与关键区域有着强烈的影响用于语言过程。
translated by 谷歌翻译
很少有课堂学习(FSCIL)着重于设计学习算法,这些学习算法可以不断地从几个样本中学习一系列新任务,而不会忘记旧任务。困难是,从新任务中进行一系列有限数据的培训会导致严重的过度拟合问题,并导致众所周知的灾难性遗忘问题。现有研究主要利用图像信息,例如存储以前任务的图像知识或限制分类器更新。但是,他们忽略了分析课堂标签的信息丰富且较少的嘈杂文本信息。在这项工作中,我们建议通过采用内存提示来利用标签文本信息。内存提示可以依次学习新数据,同时存储先前的知识。此外,为了优化内存提示而不破坏存储的知识,我们提出了基于刺激的训练策略。它根据图像嵌入刺激(即嵌入元素的分布)来优化内存提示。实验表明,我们提出的方法的表现优于所有先前的最新方法,从而大大减轻了灾难性的遗忘和过度拟合问题。
translated by 谷歌翻译
现实世界的视觉搜索系统涉及具有不同计算和存储资源的多个平台上的部署。部署适合最小符合平台的统一模型会导致精度有限。预计将部署具有不同能力的模型,以适应资源约束,这要求这些模型提取的功能必须在度量空间中对齐。实现特征比对的方法称为“兼容学习”。现有的研究主要集中在一对一兼容的范式上,该范式在多个模型之间学习兼容性受到限制。我们提出了一个具有自我兼容性(SFSC)的可切换表示学习框架。 SFSC通过一个训练过程生成一系列具有不同能力的兼容子模型。子模型的优化面对梯度冲突,我们从大小和方向的角度来减轻它。我们通过不确定性估计动态调整子模型的优先级,以适当地将子模型合作。此外,预计有相互矛盾的梯度以避免相互干扰。 SFSC在评估的数据集上实现了最先进的性能。
translated by 谷歌翻译
我们介绍了PERESUM,这是一种新的MDS数据集,使用科学出版物的同行评审。我们的数据集不同于现有的MDS数据集,因为我们的摘要(即元评论)具有很高的抽象性,并且它们是源文档(即评论)的真实摘要,并且还具有源文档之间的分歧。我们发现,当前最新的MDS模型难以为同胞生成高质量的摘要,从而提供新的研究机会。
translated by 谷歌翻译
对话解剖,识别对话中单独线程的任务是多方对话NLP应用中的一个重要预处理步骤,如会话问题应答和对话摘要。将其作为一个话语到话语分类问题 - 即给出了感兴趣的话语(UOI),发现它回复了哪些过去的话语 - 我们探索了许多基于变压器的模型,并发现伯特与手工制作的功能相结合仍然是一个强大的基线。然后,我们建立一个多任务学习模型,共同学习话语到话语和话语到线程分类。观察地面真相标签(过去话语)在顶级候选者中,当我们的模型出现错误时,我们使用双重图形进行实验,作为学习如何最佳匹配一组UOIS到过去的话语。 Ubuntu IRC数据集上的实验表明,这种方法有可能优于独立地为每个UOI选择最高概率候选者的传统贪婪方法,表明未来的未来研究方向。
translated by 谷歌翻译
多标准决策通常需要查找来自数据库的小代表子集。最近提出的方法是遗憾的最小化集(RMS)查询。 RMS返回数据集D的固定尺寸子集S,其最小化S的遗憾比率(对于任何可能的实用程序功能,S的TOP1中的TOP1的分数与TOP-1的分数之间的差异)。现有工作表明,遗憾 - 比不能准确地量化用户的遗憾程度。此外,相对于遗憾的比率,用户确实了解等级的概念。因此,它认为,在最多k级遗憾(D分类列表中的S组元组中最小级别的最小集合S的问题被认为是找到最小集合的问题。对应于RMS,我们专注于上述问题的双重版本,定义为秩的randet最小化(RRM)问题,它试图找到一个固定大小集S,最小化所有可能的实用程序函数的最大排名遗憾。此外,我们概括了RRM,并提出了限制的秩遗为最小化(RRRM)问题,以最小化S在限制空间中的功能的级别遗憾。 RRRM的解决方案通常具有较低的遗憾水平,可以更好地服务于某些用户的特定偏好。在2D空间中,我们设计了一种动态编程算法2DRRM,以找到RRM的最佳解决方案。在高清空间中,我们为RRM提出了一种算法HDRRM,用于绑定输出大小,并为Rank-Ireft引入双近似保证。 2DRRM和HDRRM都可以推广到RRRM问题。对合成和实时数据集进行了广泛的实验,以验证我们算法的效率和有效性。
translated by 谷歌翻译